干货|训练神经网络时要知道的几个要点

一、偏置的意义

最基础的神经元感知器如下:

注意这里的阈值, 它度量了神经元产生正(负)激励的难易程度.也就是说，在上文的模型中, 阈值越大, 产生正激励的难度越大.

同时对于偏置需要注意的点是：偏置是不需要正则化的，并且正则化偏置的话会导致欠拟合。我们从意义上去理解话，若对偏置正则化（惩罚），会导致激活变得更加简单，偏差就会上升，学习的能力就会下降！

二、参数初始化

在讲初始化前，先简单复习下反向传播算法可表示为以下几个步骤：

我们前面说过：线性分类器逻辑回归模型可以算作为一个简单的单层神经网络。为了更好的说明